生成流动网络（GFLOWNETS）是一种算法家族，用于训练在非均衡目标密度下离散对象的顺序采样器，并已成功用于各种概率建模任务。现有的Gflownets培训目标是国家本地的，或者是过渡的本地，或者在整个采样轨迹上传播奖励信号。我们认为，这些替代方案代表了梯度偏见变化权衡的相反目的，并提出了一种利用这种权衡以减轻其有害影响的方法。受到强化学习的TD（$ \ lambda $）算法的启发，我们介绍了一个subtrajectory Balance或subtb（$ \ lambda $），这是一个GFLOWNET培训目标，可以从不同长度的部分动作子序列中学习。我们表明，SubTB（$ \ lambda $）会在先前研究和新环境中加速采样器的收敛，并在具有更长的动作序列和比以前的可能性更长的环境中培训Gflownets。我们还对随机梯度动力学进行了比较分析，阐明了GFLOWNET训练中的偏差变化权衡以及亚条件平衡的优势。
translated by 谷歌翻译
在计算机视觉领域，异常检测最近引起了越来越多的关注，这可能是由于其广泛的应用程序从工业生产线上的产品故障检测到视频监视中即将发生的事件检测到在医疗扫描中发现病变。不管域如何，通常将异常检测构架为一级分类任务，其中仅在正常示例上进行学习。整个成功的异常检测方法的家庭基于学习重建掩盖的正常输入（例如贴片，未来帧等），并将重建误差的幅度作为异常水平的指标。与其他基于重建的方法不同，我们提出了一种新颖的自我监督蒙面的卷积变压器块（SSMCTB），该卷积变压器块（SSMCTB）包括基于重建的功能在核心架构层面上。拟议的自我监督块非常灵活，可以在神经网络的任何层上掩盖信息，并与广泛的神经体系结构兼容。在这项工作中，我们扩展了以前的自我监督预测性卷积专注块（SSPCAB），并具有3D掩盖的卷积层，以及用于频道注意的变压器。此外，我们表明我们的块适用于更广泛的任务，在医学图像和热视频中添加异常检测到基于RGB图像和监视视频的先前考虑的任务。我们通过将SSMCTB的普遍性和灵活性整合到多个最先进的神经模型中，以进行异常检测，从而带来了经验结果，可以证实对五个基准的绩效改进：MVTEC AD，BRATS，BRATS，Avenue，Shanghaitech和Thermal和Thermal和Thermal罕见事件。我们在https://github.com/ristea/ssmctb上发布代码和数据作为开源。
translated by 谷歌翻译
由于传感器的成本和可靠性高，泵的设计人员会尽可能地估算可行操作点所需的传感器数量。获得良好估计的主要挑战是可用的数据量低。使用此数量的数据，估算方法的性能不足以满足客户的要求。为了解决这个缺乏数据的问题，获取高质量数据对于获得良好的估计很重要。根据这些考虑，我们开发了一个主动学习框架，用于估计能量场中使用的模块化多泵的工作点。特别是，我们专注于电涌距离的估计。我们应用主动学习以使用最小数据集估算浪涌距离。结果报告说，主动学习也是真正应用的宝贵技术。
translated by 谷歌翻译
尽管已经提出了几种方法来实现领域泛化的艰巨任务，但了解使这项任务挑战的原因很少受到关注。在这里，我们提出semanticdg（语义域概括）：具有15个具有相同几何形状，场景布局和摄像机参数与流行的3D Scannet数据集的基准标准，但具有照明，材料和视图点的控制域移动。使用此基准，我们独立研究了这些语义转变对概括的影响。视觉识别模型很容易推广到新颖的照明，但与材料和观点的分配变化斗争。受到人类视野的启发，我们假设场景上下文可以作为桥梁，以帮助模型跨越材料和观点域的转移，并提出上下文感知的视觉变压器，以及对材料和观点变化的对比损失，以解决这些域的变化。我们的方法（称为CDCNET）的表现优于现有域的概括方法，超过18％。作为关键的基准，我们还进行心理物理学实验，发现人类在照明，材料和观点上同样概括地概括了。此处介绍的基准和计算模型有助于了解与跨域的概括相关的挑战，并提供了向语义分布转移推断的初始步骤。我们在补充中包括所有数据和源代码。
translated by 谷歌翻译
自我监督的学习方法在下游分类任务中显示出令人印象深刻的结果。但是，在理解和解释其学会的表现方面的工作有限。在本文中，我们研究了几种最先进的自我监督模型的表示空间，包括Simclr，Swav，Moco V2和Byol。没有使用类标签信息，我们首先发现了对各种样本子集高度活跃的判别特征，并且对应于图像中的独特物理属性。我们表明，使用这种歧视特征，可以压缩高达50％的自我监督模型的表示空间，而不会显着影响下游线性分类。接下来，我们提出了一个示例自我监督的表示质量评分（或q得分），可以计算，而无需访问任何标签信息。 Q得分，利用判别特征可靠地预测在下游分类任务中是否可能错误地分类为SIMCLR上的AUPRC为0.91，而BYOL在Imagenet-100上进行了训练。 Q得分也可以用作正规化术语，以补救在Imagenet-100，Cifar-10，Cifar-100和STL-10上所有4个自我监督基线的相对准确性相对准确性的相对准确性的相对准确性高达8％。此外，通过热图分析，我们表明Q得分正则化增强了判别特征并降低了特征噪声，从而改善了模型的解释性。
translated by 谷歌翻译
我们展示了基本的头部动作单位被称为行为分析的Kinemes，以预测人格和面试特征。将头部运动模式转换为一系列型术语有助于发现表征目标性状的潜在时间签名，从而实现有效和可说明的特征预测。利用Kinemes和面部动作编码系统（FACS）特征来预测（a）在第一次印象上的海洋人格性状候选筛选视频中，（b）在MIT数据集上的面试特征，我们注意到：（1）长期用Kineme序列训练的内存（LSTM）网络表现优于或类似于用面部图像培训的卷积神经网络（CNN）;（2）与Kinemes组合的FACS动作单位（AUS）组合实现了精确的预测和解释，并且（3）预测性能受到朝向头部和面部运动的时间长度的影响。
translated by 谷歌翻译
我们建议承担义义歧义（WSD）的问题。在语言中，相同形式的单词可能取决于上下文。虽然人类可以通过他们的上下文轻松推断出这些单词的含义或光泽，但机器偶然地推断出这个任务。我们打算在黄等人的结果上复制和扩展他们设计消除这些词语的模型（Huang等人。，2019）。具体来说，我们提出了以下增强：数据集调整（Alpha Hyper-参数），集合方法，用BART和Albert更换BERT。以下GitHub存储库包含本报告中使用的所有代码，它延伸到Huang等人提供的代码。
translated by 谷歌翻译
图形神经网络（GNNS）是一种用于建模图形结构化数据的流行技术，该数据通过来自每个节点的本地邻域的信息聚合来计算节点级表示的结构。然而，该聚合意味着增加敏感信息的风险，因为节点可以参与多个节点的推断。这意味着标准隐私保存机器学习技术，例如差异私有随机梯度下降（DP-SGD） - 这被设计用于每个数据点仅参与推理的一个点的情况 - 要么不适用，或导致不准确解决方案。在这项工作中，我们正式定义了使用节点级别隐私学习1层GNN的问题，并提供具有强大差异隐私保证的算法解决方案。即使每个节点都可以参与多个节点的推断，通过采用仔细的敏感性分析和逐个放大技术的非琐碎扩展，我们的方法能够提供具有实心隐私参数的准确解决方案。标准基准测试的实证评估表明，我们的方法确实能够学习准确的隐私保留GNN，同时仍然优于完全忽略图形信息的标准非私有方法。
translated by 谷歌翻译
最近的知识接地对话框方法通过从外部文本文档中包含信息来生成响应。这些方法不需要在训练期间知道确切的文件，并依赖于使用检索系统来从大型索引获取相关文档。用于生成响应的文档被建模为潜在的变量，其先验概率需要估计。诸如rag等型号，在从索引中检索的文档上边缘化文档概率，以定义对端到端优化的日志似然丢失函数。在本文中，我们开发了上述技术的变分方法，据称，我们最大化证据下限（ELBO）。使用三个公开可用的开放式对话数据集的集合，我们展示了与地面真相响应的信息的后部分布如何允许在训练期间更好地逼近客观函数。为了克服与大型知识收集相关的抽样相关的挑战，我们开发了一种高效的方法来近似eLBO。据我们所知，我们是第一个适用于开放式无监督知识接地对话系统的变分培训。
translated by 谷歌翻译
异常检测通常被追求为单级分类问题，其中模型只能从正常训练样本中学习，同时在正常和异常的测试样本上进行评估。在异常检测的成功方法中，一种杰出的方法依赖于预测屏蔽信息（例如修补程序，未来帧等）并利用相对于屏蔽信息的重建误差作为异常分数。与相关方法不同，我们建议将基于重建的功能集成为新颖的自我监督的预测建筑结构块。所提出的自我监督块是通用的，并且可以容易地结合到各种最先进的异常检测方法中。我们的块从带有扩张过滤器的卷积层开始，其中掩盖接收场的中心区域。得到的激活图通过通道注意模块传递。我们的块配备有损失，使得能够最小化接收领域中的遮蔽区域的重建误差。我们通过将其集成到几种最先进的框架中，以便在图像和视频上进行异常检测，提供对MVTEC AD，Avenue和Shanghaitech的经验证据提供了显着改进的经验证据。
translated by 谷歌翻译